Visualización

Cargamos el path

import os
myfile = open("path.txt",mode="r")

datapath,repopath = myfile.readlines()
datapath = datapath.strip("\n")

acc = 'accidents_labeled.csv'
vc = 'veh_cas_labeled.csv'

Importamos librerías

import plotly.tools as tls
import plotly as py
import plotly.graph_objs as go

from matplotlib import *
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from matplotlib import cm
cmap = cm.get_cmap
import seaborn as sns

%matplotlib inline
import io
pd.set_option('display.max_columns', None)
from plotly.subplots import make_subplots
import plotly.graph_objects as go
import streamlit as st
import cufflinks as cf
cf.go_offline()
cf.set_config_file(theme='pearl',sharing='public',offline=True)
import warnings
warnings.simplefilter(action='ignore', category=FutureWarning)

Carga de los datos

# load the accidents_clean_csv file as a dataframe
accidents = pd.read_csv(datapath +'/'+ acc,delimiter=',',encoding='UTF-8-SIG',index_col=0,parse_dates=["Date"])

# load the casualty_vehicle_csv file as a data frame
dfmerged = pd.read_csv(datapath + '/' + vc,delimiter=',',encoding='UTF-8-SIG',index_col=0)

Scatter plot Víctimas y Vehiculos

sns.set_context("talk", font_scale=1.1)
fig,ax = plt.subplots(figsize=(14,8))
sns.scatterplot(x="Number_of_Casualties", 
                y="Number_of_Vehicles",
                size="Accident_Severity",
                sizes=(20,500),
                alpha=0.5,
                hue="Speed_limit_2",
                data=accidents.iloc[:1000000]) 

# Put the legend out of the figure
#plt.legend(bbox_to_anchor=(1.01, 1))
#plt.legend(bbox_to_anchor=(1.01, 0.54),  borderaxespad=0.)
plt.legend(fontsize=12)
plt.xticks(fontsize=12)
plt.yticks(fontsize=12)
plt.xlabel("Number_of_Casualties",fontsize=15)
plt.ylabel("Number_of_Vehicles",fontsize=15)
plt.title("Scatter plot - Numerical Variables",fontsize=18,fontweight="bold")
plt.tight_layout()
sns.despine(ax=ax, top=True, right=True, left=True, bottom=False);
plt.show()

• Podemos ver que lo que más predomina son accidentes leves con velocidades comprendidas entre 70-80 km/h (naranja), 60-70km/h(violeta) y 30-40km/h (azul).
• En cuanto a los vehículos implicados se observa que se acumulan más los datos entre 0-20 , no obstante en las víctimas predominan datos acumulados desde 0 hasta 40, siendo más intenso entre 0 y 10.

Pie Chart Accident_Severity total %

fig = accidents['Accident_Severity'].value_counts(normalize=True)\
                    .reset_index().iplot(kind='pie',dimensions=(400,400),
                    labels='index',values='Accident_Severity',
                    textinfo='percent+label',hole=0.4,
                    color = ['lightgreen', 'orange','red'],title='Accident Severity Chart',
                    asFigure=True,)
fig.update_layout(legend=dict(
    yanchor="top",
    y=1.15,
    xanchor="left",
    x=0.85,
        ),
title_x=0.5,title_y=0.92)
fig.show()

• En el gráfico vemos como la variable que nos hemos definido como target, está muy desbalanceada, sólo con un aprox. 2% de datos fatales, 73% en leves y 24% en graves.

Media Móvil Accidentes por mes

# Utilizarmos resample de la fecha para ponerla como índice y agruparla por mes, de esta manera
# podemos generar el gráfico con el total mensual y luego poder calcular una media con una ventana=12
# que son lso meses del año.

sns.set_style('white')
fig, ax = plt.subplots(figsize=(16,6))

accidents.set_index('Date').resample('M').size().plot(label='Total Month', color='grey', ax=ax)
accidents.set_index('Date').resample('M').size().rolling(window=12).mean()\
                           .plot(color='lightgreen', linewidth=5, label='Montly average 12 months', ax=ax)

ax.set_title('Accidents per Month', fontsize=18, fontweight='bold')
ax.set(ylabel='Total Count\n', xlabel='Years')
ax.legend(fontsize=10)
ax.set_xlabel('Year',fontsize=15)
ax.set_ylabel('Total counts\n',fontsize=15)
plt.xticks(fontsize=12)
plt.yticks(fontsize=12)
#ax.set_xticklabels(["1979", "1984", "1989", "1994","1999","2004"], fontsize=12)
#ax.set_yticklabels(["16k", "18k", "20k", "22k","24k"], fontsize=12)
sns.despine(ax=ax, top=True, right=True, left=True, bottom=False);

• Por alguna razón los accidentes tienden a bajar a media que van pasando los años, podría indicarnos una clara mejora en los sistemas de seguridad en los automóbiles.

• Se puede apreciar un pico alrededor de los años 90, donde probablemente se deba a que fué una época donde las compañías de vehículos comercializaron muchos coches accesibles al usuario medio y con una gran cilindrada y unos sistemas de seguridad menos eficientes que hoy en día.

Accidentes por año

df1 = accidents.groupby(['Year'])\
.agg({'Accident_Index':'count', 'Number_of_Vehicles': 'sum','Number_of_Casualties': 'sum',})\
.reset_index()
#-------------------------
sns.set_style("white")

x = df1.Year
labels = df1.Year
width = 0.5
Accidentcounts = df1['Accident_Index']
Casualtycounts =  df1['Number_of_Casualties']
fig,ax =  plt.subplots(figsize=(16,6))

bar1 = ax.bar(x - width/2, Accidentcounts, width, label='Accident counts', color = 'paleturquoise');
bar2 = ax.bar(x + width/2, Casualtycounts, width, label='Casualty counts', color = 'slategrey');
bar1[10].set_color('moccasin')
bar2[10].set_color('lightcoral')
ax.legend(fontsize=10)
ax.set_title('\nAccidents / Casualties \n per Year\n', fontsize=18, fontweight='bold')
ax.set_xlabel('\nYear',fontsize=15)
ax.set_ylabel('Total counts\n',fontsize=15)
ax.legend(fontsize=10)
plt.xticks(fontsize=12)
plt.yticks(fontsize=12)
ax.set_xticks(x)
sns.despine(ax=ax, top=True, right=True, left=True, bottom=False);
plt.show();

• El año con más accidentes y víctimas es 1989.
• Tanto accidentes como víctimas presentan una ligera bajada a partir del año 2000.

¿En qué meses hay más accidentes?

cmap = plt.cm.get_cmap('Spectral')

df2 = accidents.groupby(['Month'])['Accident_Index'].count().reset_index()

months = ['January',
          'February',
          'March',
          'April',
          'May',
          'June',
          'July',
          'August', 
          'September',
          'October',
          'November',
          
          'December']
df2['Month'] = pd.Categorical(df2['Month'], categories=months, ordered=True)
#df2.sort_values(...)  # same as you have now; can use inplace=True
df2 = df2.sort_values(by='Month')


sns.set_style("white")

x = df2['Month']
y = df2['Accident_Index']
fig, ax =  plt.subplots(figsize=(16,6))
plt.xticks(fontsize=12)
plt.yticks(fontsize=12)
bar1 = ax.bar(x,y,color='cornflowerblue',linewidth=4)
bar1[9].set_color('tomato')
ax.set_title('Accidents per Month', fontsize=18, fontweight='bold')
ax.set_xlabel('\n Month',fontsize=15)
ax.set_ylabel('Total Count\n',fontsize=15)
sns.despine(ax=ax, top=True, right=True, left=True, bottom=False);
plt.show();

2021-12-30 19:50:54.734 INFO    matplotlib.category: Using categorical units to plot a list of strings that are all parsable as floats or dates. If these strings should be plotted as numbers, cast to the appropriate data type before plotting.
2021-12-30 19:50:54.737 INFO    matplotlib.category: Using categorical units to plot a list of strings that are all parsable as floats or dates. If these strings should be plotted as numbers, cast to the appropriate data type before plotting.

• El mes de octubre es el que más accidentes acumula junto con noviembre. Podríamos pensar que por estas fechas de desencadena algún fenómeno que hace crecer el número de accidentes.

¿Qué dia de la semana hay más accidentes?

df3 = accidents.groupby(['Day_of_Week'])['Accident_Index']\
                .count()\
                .sort_values(ascending=False)\
                .reset_index()
days = ['Sunday',
        'Monday',
        'Tuesday',
        'Wednesday',
        'Thursday',
        'Friday',
        'Saturday']

df3['Day_of_Week'] = pd.Categorical(df3['Day_of_Week'],
                                    categories=days, 
                                    ordered=True)

df3 = df3.sort_values(by='Day_of_Week',ascending=True)


# sns.set_style('white')
fig, ax = plt.subplots(figsize=(10,5))

barlist = plt.bar(df3['Day_of_Week'],df3['Accident_Index'],
                  color='orange')
barlist[5].set_color('plum')

ax.set_title('\nAccidents per Weekday\n',
             fontsize=18,
             fontweight='bold')

ax.set_xlabel('\n Weekday',fontsize=15)
ax.set_ylabel('Total Count\n',fontsize=15)
# remove all spines

plt.xticks(fontsize=12)
plt.yticks(fontsize=12)
sns.despine(ax=ax, top=True, 
            right=True, 
            left=True, 
            bottom=False);

plt.show();

2021-12-30 19:50:56.656 INFO    matplotlib.category: Using categorical units to plot a list of strings that are all parsable as floats or dates. If these strings should be plotted as numbers, cast to the appropriate data type before plotting.
2021-12-30 19:50:56.659 INFO    matplotlib.category: Using categorical units to plot a list of strings that are all parsable as floats or dates. If these strings should be plotted as numbers, cast to the appropriate data type before plotting.

• Claramente el viernes tiene sentido que sea cuando suceden más accidentes, cuando empieza el fin de semana.

Mapa de calor Weekday - Daytime

df4 = accidents.groupby(['Day_of_Week','Daytime'])['Accident_Index']\
               .count().reset_index()


days = ['Sunday',
        'Monday',
        'Tuesday',
        'Wednesday',
        'Thursday',
        'Friday',
        'Saturday']

df4['Day_of_Week'] = pd.Categorical(df4['Day_of_Week'], categories=days, ordered=True)

df4 = df4.pivot(index='Day_of_Week', columns='Daytime', values='Accident_Index')

fig = df4.iplot(kind="heatmap",
                colorscale="Reds",
                dimensions=(670,520),
                title='Heatmap Daytime vs Weekday',
                asFigure=True)

fig.update_layout(
title_x=0.50)

• Cuando más accidentes suceden es a la vuelta del trabajo y en horas de oficina el fin de semana.
• Es decir que de 15h a 19h es cuando más accidentes hay el fin de semana, y entre semana se acumulan más a la salida del trabajo.
• El fin de semana es cuando aumentan los casos de víctimas de accidentes de tráfico y se producen más accidentes severos en horario nocturno.

Histograma Accidentes - Hora

fig = accidents.Hour.iplot(kind='histogram',
                           bins=40,
                           theme="white",
                           title="Accidents by Time",
                           dimensions=(900,400),
                           xTitle='Hour of the Day',
                           yTitle='Acc Count',
                           colors="darkseagreen",asFigure=True)
fig.update_layout(title_x=0.5,title_y=0.85)
fig.show()

• Las horas donde se acumulan más accidentes coincidiendo con nuestro gráfico de antes se acumulan de 15 a 19h.

Recuento de víctimas por límite de velocidad

fig2 = accidents.groupby(['Speed_limit_2'])['Number_of_Casualties'].sum()\
                                                                    .iplot(kind='bar',
                                                                           dimensions=(750,400),
                                                                           color=['blue', 'grey', 'yellow'],
                                                                           asFigure=True,
                                                                           title="Speed limit vs Casualties")
fig2.layout.xaxis.title = "Speed Limit (Km/h)"
fig2.layout.yaxis.title = "Casualty count"
fig2.update_layout(
title_x=0.5,title_y=0.85)
fig2.show()

(accidents.groupby(['Speed_limit_2'])['Number_of_Casualties'].sum()/accidents.Number_of_Casualties.sum()*100).round(2).sort_values(ascending=False)

Speed_limit_2
30-40    61.28
60-70    21.52
40-50     8.06
70-80     7.49
50-60     1.54
20-30     0.07
10-20     0.02
0-10      0.01
80-90     0.00
Name: Number_of_Casualties, dtype: float64

• Entre 30-40 km/h es donde más víctimas se reportan, con un 61,3 % de registros, es muy probable que estos accidentes sucedan claramente en la ciudad.
• Con un 21.52 % de victimas le siguen los accidentes entre 60-70 km/h.

Relación entre Vehículos y Víctimas (tipos)

dfh = dfmerged.groupby(['Vehicle_Type','Casualty_Type'])['Acc_Index']\
            .count().reset_index()

fig = dfh.pivot(index='Vehicle_Type',
                columns=['Casualty_Type'],
                values='Acc_Index')\
        .iplot(kind="heatmap"
           ,colorscale="Blues",
           dimensions=(900,750),
           title='Heatmap Vehicle type vs Casualty type',
          asFigure=True)

fig.update_layout(
title_x=0.5,title_y=0.95)
fig.show()

• Este gráfico muestra la correlación entre los vehículos y las víctimas. Los accidentes mayormente se producen entre coches, y coche y peatón.

Porcentaje de conductores implicados por sexo

driver = dfmerged.groupby(['Age_Band_of_Driver','Sex_of_Driver'])['Acc_Index']\
                 .count().reset_index()


driver['%'] = (driver['Acc_Index']/driver['Acc_Index'].sum()*100)\
                                                      .sort_values(ascending=True).round(2)

print("Total Female Driver Accidents:\n{}%".format(
    driver[driver["Sex_of_Driver"]=="Female"]["%"].sum().round(2)))
print("Total Male Driver Accidents:\n{}%".format(
    driver[driver["Sex_of_Driver"]=="Male"]["%"].sum().round(2)))

driver['%'] = driver['%'].astype(str).str[:4]+'%'
      
import plotly.express as px

fig1 = px.sunburst(driver,
                   path=['Sex_of_Driver','Age_Band_of_Driver','%'],
                   color='Sex_of_Driver')

fig1.update_layout(height=500,
                   width=550,
                   title_text="Age_Band_of_Driver vs Sex of Driver",
                  title_x=0.5)
fig1.show()

Total Female Driver Accidents:
30.73%
Total Male Driver Accidents:
69.27%

• Los conductores que acumulan más accidentes son los hombres con un 69.27 %. En cuanto a las mujeres són el colectivo que menos accidente tiene con el 30 % restante.
• Las franja de edad que más destaca en porcentaje tanto en hombres como en mujeres es entre 26 y 35 años.

Recuento de Accidentes por Sexo

dfmerged['Male'] = dfmerged[dfmerged["Sex_of_Casualty"]=='Male']["Acc_Index"]
dfmerged['Female'] = dfmerged[dfmerged["Sex_of_Casualty"]=='Female']["Acc_Index"]

csx = dfmerged.groupby(['Sex_of_Casualty'])['Acc_Index']\
                 .count().reset_index()


csx['%'] = (csx['Acc_Index']/csx['Acc_Index'].sum()*100)\
                                                .sort_values(ascending=True).round(2)

print("Total Female Casualties:\n{}%\n".format(csx[csx["Sex_of_Casualty"]=="Female"]["%"].sum()))
print("Total Male Casualties:\n{}%\n\n".format(csx[csx["Sex_of_Casualty"]=="Male"]["%"].sum()))

'''months = ['January', 'February','March','April', 'May','June','July','August', 'September','October','November','December']
df2['Month'] = pd.Categorical(df2['Month'], categories=months, ordered=True)'''

fig=dfmerged.groupby(['Age_Band_of_Casualty']).agg({"Male":"count","Female":"count"})\
                                              .reset_index()\
                                              .sort_values(by="Age_Band_of_Casualty",ascending=True)\
                                              .iplot(
                                                kind="bar",
                                                barmode="stack",
                                                x="Age_Band_of_Casualty",
                                                y=["Male","Female"],colors=["lightgreen","lightpurple"],
                                                title="Accidents by casualty Gender",
                                                dimensions=(800,450),asFigure=True,
                                                xTitle='Age_Band_of_Casualty',
                                                yTitle='Total Accident Counts',
)

fig.update_layout(title_x=0.5)
fig.show()

Total Female Casualties:
45.05%

Total Male Casualties:
54.95%

total = dfmerged.groupby(['Age_Band_of_Casualty','Sex_of_Casualty'])['Acc_Index']\
                 .count().reset_index()
totalfemale = total[total['Sex_of_Casualty'] == 'Female'].reset_index(drop=True).drop(columns=['Age_Band_of_Casualty'])
totalfemale['%'] = totalfemale['Acc_Index'] / totalfemale.Acc_Index.sum()*100
totalmale = total[total['Sex_of_Casualty'] == 'Male'].reset_index(drop=True)
totalmale['%'] = totalmale['Acc_Index'] / totalmale.Acc_Index.sum()*100

pd.concat([totalmale,totalfemale],axis=1).round(2)

	Age_Band_of_Casualty	Sex_of_Casualty	Acc_Index	%	Sex_of_Casualty	Acc_Index	%
0	0 - 5	Male	81703	2.46	Female	67340	2.47
1	11 - 15	Male	144971	4.37	Female	128245	4.71
2	16 - 20	Male	550043	16.57	Female	368239	13.53
3	21 - 25	Male	483441	14.57	Female	376717	13.85
4	26 - 35	Male	763961	23.02	Female	586090	21.54
5	36 - 45	Male	481622	14.51	Female	402506	14.79
6	46 - 55	Male	311484	9.38	Female	292067	10.73
7	56 - 65	Male	190050	5.73	Female	185947	6.83
8	6 - 10	Male	131061	3.95	Female	99624	3.66
9	66 - 75	Male	110263	3.32	Female	127094	4.67
10	Over 75	Male	70392	2.12	Female	86979	3.20

• Los rangos de edad tanto en hombre como en mujer con mayor porcentaje de víctimas son las comprendidas entre 26-35 años.
• Pero podemos decir en términos generales que empieza a dispararse a partir de los 16 hasta los 45 años, con un 79 % en los hombres y un 64 %.
• En cuanto al porcentaje total de víctimas los hombre sobrepasan en 10 % a las mujeres, con un 45% de mujeres y un 55% de varones.

Cilindradas más populares

e_capacity = (dfmerged['Engine_Capacity_(CC)'].astype(float)/1000).round(2).reset_index()
e_capacity = e_capacity['Engine_Capacity_(CC)'].value_counts().nlargest(10)
e_capacity.reset_index().rename(columns={'Engine_Capacity_(CC)':'Count','index' : 'Engine_Capacity_CC'})

	Engine_Capacity_CC	Count
0	1.60	745749
1	1.30	406231
2	2.00	312915
3	1.12	306948
4	1.39	274888
5	1.99	227946
6	1.80	225098
7	1.59	221414
8	1.00	218941
9	1.27	187584

• Las cilindradas más destacadas son, 1.6, 1.3, 2.0, 1.8, 1.0. Era de esperar ya que son los motores más fiables de esta época e incluso hoy en día siguen siendo los más populares.

Edad de los vehículos

fig = dfmerged.groupby(['Age_of_Vehicle'])['Acc_Index']\
        .count().nlargest(23)\
        .iplot(
                kind='bar',
                xTitle='Age of Vehicle',
                yTitle='Accidents Count',
                title = "Accidents by age of vehicle",
                dimensions=(700,450),
                asFigure = True)

fig.update_layout(title_x=0.5)
fig.show()

total = dfmerged.Age_of_Vehicle.count()
print("0-5 years   : ",(dfmerged["Age_of_Vehicle"].value_counts().nlargest(20)[0:5].sum()/total).round(2))
print("5-10 years  : ",(dfmerged["Age_of_Vehicle"].value_counts().nlargest(20)[5:10].sum()/total).round(2))
print("10-20 years : ",(dfmerged["Age_of_Vehicle"].value_counts().nlargest(20)[10:20].sum()/total).round(2))
print("20-30 years : ",(dfmerged["Age_of_Vehicle"].value_counts().nlargest(20)[20:30].sum()/total).round(2))

0-5 years   :  0.44
5-10 years  :  0.37
10-20 years :  0.19
20-30 years :  0.0

• Predominan los coches no mayores a 10 años con un porcentaje de 81 % de vehiculos, es decir la gran mayoría.
• El resto de vehículos son coches entre 10 y 20 años, que representan el 20% restante.

Pie Chart - Accidentes por tipo de vehículo

veh_type = dfmerged.groupby(['Vehicle_Type'])['Acc_Index'].count().reset_index()
veh_type['Percentage'] = (veh_type['Acc_Index']/veh_type['Acc_Index']\
                          .sum()*100)\
                        .sort_values(ascending=True)#.astype(str).str[:4]+'%'
veh_type["Percentage"] = veh_type['Percentage'].round(2)

fig = veh_type.sort_values(by="Percentage",ascending=False)[:10]\
              .iplot(kind="pie",
               labels="Vehicle_Type",
               values="Percentage",
               textinfo='percent+label',
               pull=[0, 0, 0.1],
               dimensions=(750,650),
               asFigure=True,
               title = "Percentages of Vehicle type "
)

fig.update_layout(legend=dict(
    yanchor="top",
    y=0.85,
    xanchor="left",
    x=1,
        ),
title_x=0.5,title_y=0.95)
fig.show()

• La mayoría de los accidentes se producen por coches 87%, seguidamente motocicletas con un 5.5 % y (furgonetas/camiones pequeños) con un 4.3 % .
• El resto de vehículos aparecen con porcentajes menores al 2%.